Critical effect size values and why to report them

Ambra Perugini, Filippo Gambarota, Enrico Toffalini, Laura Sità, Daniël Lakens, Massimiliano Pastore, Livio Finos, Psicostat, Gianmarco Altoè

 XXXVI Congresso Nazionale Associazione Italiana di Psicologia  Sezione Psicologia dello Sviluppo e dell’Educazione 19 - 21 Settembre 2024 | Cagliari

Iniziamo con un esempio

  • Non abbiamo trovato una correlazione positiva tra la variabile X e la variabile Y (\(n = 18\) , \(r = .40\), \(p = .100\))

  • Abbiamo trovato una correlazione positiva tra la variabile X e la variabile Y (\(n = 1000\), \(r = .08\), \(p = .011\))

Idealmente dovremmo pianificare l’\(n\) per avere un power dell’80%. Spesso ci troviamo in scenari in cui non è stato possibile programmare il sample size, o per motivi di risorse limitate o perchè abbiamo avuto accesso ad una grande banca dati.

  • Nel primo caso non è possibile raggiungere la potenza ottimale

  • Nel secondo caso è evidente che con grandi campioni anche piccoli effetti diventano significativi

Cos’è il critical effect size value?

E’ il più piccolo effect size associato a \(p < 0.05\) (quindi significativo), dato il sample size (e la direzione del test).

  • Nel primo esempio la correlazione non era significativa, ma il critical effect size value era \(r = ±.468\). Ma… una correlazione di .30 non sarebbe rilevante?

  • Nel secondo esempio il critical effect size value era \(r = ± 0.062\), per cui effetti così piccoli da essere praticamente irrilevanti possono essere comunque significativi.

Nella pratica, come ci aiutano i critical effect size values?

Prima di condurre uno studio:

  • pre-allertano sull’insufficienza di considerare \(p < .05\) nell’interpretazione dei risultati

Quando lo studio è già stato svolto:

  • aiutano i revisori a meglio contestualizzare i risultati

In più..

  • dal punto di vista didattico aiutano a comprendere meglio la relazione tra significatività statistica, grandezza del campione e effect size

Come calcolare i critical effect size values


Il nostro pacchetto permette di calcolare i valori critici per correlazioni, confronti tra gruppi, regressione lineare e meta-analisi.

library(criticalESvalue)
n <- 30
critical_t2sp(n = n, conf.level = 0.95, hypothesis = "two.sided")$dc
[1] 0.528076

Per saperne di più:


Il nostro pacchetto, esempi su come usare le funzioni e il draft del paper nella nostra repository:


https://github.com/psicostat/criticalESvalue

In conclusione

  • Idealmente, sarebbe sempre meglio programmare il sample size tramite la formalizzazione di un effetto plausibile PRIMA di condurre lo studio.

  • Ma quando pianificare uno studio \(a priori\) non è possibile, i critical value riescono, senza specificare l’effetto plausibile, ad aiutare a comprendere i limiti del proprio disegno sperimentale

  • Il nostro motto è TBT:

Thinking Before Testing!

Take-home message

  • Ora vi starete chiedendo:

… Come definire teoreticamente l’effect size e come interpretarlo?

… come calcolare i critical effect size values per modelli complessi?

  • Il nostro suggerimento è la COLLABORAZIONE tra psicologi, psicometristi e statistici

Un piccolo esempio di collaborazione: PSICOSTAT

http://psicostat.dpss.psy.unipd.it

Grazie!



Ambra Perugini

ambra.perugini\(@\)phd.unipd.it

https://psicostat.dpss.psy.unipd.it/people.html